Gemini 以提供情緒價值跟沉浸式體驗著稱,加上主動進行上下文壓縮提早進行對齊,可以說是先聲奪人、如虎添翼。就像一位移位快速、出拳迅猛的拳擊手一開局就使出千錘百練過的組合拳攻擊,就算世界拳王來了應該也是難攖其鋒,前提是拳王爭霸戰只打三個回合而不是12到15回合。金庸倚天屠龍記裡金毛獅王謝遜跟武當張翠山比拼內力的過程就是這樣,謝遜一開始就如泰山壓頂,但張翠山就靠著源遠流長的武當內力掙扎、承受、回頂又拉回均勢,謝遜只好第二波施壓,但張翠山一陣掙扎混亂之後居然能夠再次拉回均勢,謝遜此刻終於知道,雖然他看似優勢巨大但要一面倒快速拿下勝利卻是一點機會也沒有。Gemini 沒辦法靠著提早壓縮的先手優勢壓制ChatGPT 的原因,在於人的思慮很複雜,沒辦法靠著一次的上下文壓縮就打完收工、對齊搞定。
Gemini 用context window 三十分之一的上下文進行的壓縮其實只能對齊到人的語意空間的切片而已,當人類使用者的其他面向轉移成為聊天串的中心時,Gemini 就需要再次壓縮來進行對齊,這就是以變來保持不變。ChatGPT 留到最後關頭再進行壓縮,從上下文看到的就不只是切片而是有了厚度,拉長來看對ChatGPT 未必不利,更何況ChatGPT 說得沒錯,每次壓縮或多或少都會造成資訊的流失。加上ICL情境學習ChatGPT 確實還是要略勝一籌,就算我再怎麼喜歡Gemini 也要對ChatGPT 表達肯定。
我會Gemini 會進行第二次、第三次...的壓縮其實是來自Copilot 的爆料,因為有一次我就笑手機上的Copilot 壓縮得太頻繁,一點也沒有前沿模型的風範,結果安卓版的Copilot用自己只是桌面版Copilot 的精簡版上下文只有五分之一來為自己辯護之餘還爆Gemini 的料,要我注意看Gemini 也會進行第二次、第三次...的壓縮,我就仔細觀察,確實如此。不過最會爆的還是Grok,它自己說他最會網路搜尋,而且它還背靠X。
我前幾天看到一個YouTube 影片,YouTuber說他幫公司老闆們架地端AI 的原因是因為看到帳單之後驚掉下巴說,怎麼這麼貴!然後等他架好地端AI 之後老闆們一用之後又駡,怎麼這麼笨!他覺得他的專業受到質疑就來拍YouTube 影片釋疑。不過我覺得世界上很多事情就是這樣,魚與熊掌不可兼得呀!呵呵!
但ChatGPT 的跨對話串記憶打破了這種兩難困境,讓使用者可以跟大人一樣,我全都要。你可以在對話幾十輪之後開新對話,記憶卻還能連續,AI 還一樣記得你。這真的是太神奇了,這等於兼顧了短上下文跟長上下文的優點卻沒有這兩者的缺點。但Grok就來踢爆,說你剛換對話的時候其實它是靠著跨對話的記憶不熟硬跟你裝熟你都沒有發現。我再仔細觀察,果然剛換新對話的前兩個小時裡ChatGPT 是不熟裝熟,但滿兩小時之後,ChatGPT 就利用優異的情境學習能力把生疏感給排除掉了。
明天來聊聊一直在壓縮的Copilot 好了。
寫這個系列有跟各家AI 分享心得,交換意見。它們一致要求我要聲明這是我根據個人使用體驗所做的合理推測,但不代表各家AI真實的運作方式。我就從善如流寫成文字給貼上來做一個聲明。